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(54) Precede d'interpolation de trames progressives 



(57) L'invention concerne un procede de conversion 
de trames entrelacees en des trames progressives 
comprenant un changement de frequences de trames 
par interpolation et compensation de mouvement 

Le procede est caracterise en ce que lorsque le vec- 
teur de mouvement associe a un pixel a interpoler est 
non nul ou lorsque ce vecteur est nuL mais que la con- 
fiance accordee a ce vecteur est inferieure a un seuil 
donne, 



r interpolation d'un pixel (x,y) d'une trame temporel- 
lement situee entre deux trames d'entree est reatlsee 
par un filtrage median portant sur les valeurs obtenues 
par un premier filtre temporel lineaire compense en 
mouvement, un second fittre lineaire compense en mou- 
vement et un filtre temporel median compense en mou- 
vement. 

L'invention s*applique notamment dans le domaine 
de ta television. 
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Description 

L'invention concerne un precede d'interpolation de trames progressives. Ce precede est particulierement adapte 
a des systems de conversion d'images comportant un changennent de frequence de trames, par exemple d'un format 
5 entrelace 50 Hz en un format progressif 75 Hz. L'invention s'applique notamment dans le domaine de la television. 

Une television grand public actuelle regoit et affiche 25 images par seconds, compcsees chacune de deux trames, 
une comportant les lignes paires et I'autre les lignes impaires de I'image; I'ecran est ainsi balaye verticalement 50 fois 
par seconde, ce qui est une frequence faible en regard du temps de reaction de t'oeil. La frequence limite a partir de 
laquelle I'oeil arriverait a resoudre temporellement une sequence televise en une succession d'images discretes n'est 
10 pas tres inferieure a 50 Hz. Par contre, ce papillotement est pratiquement elimine pour une frequence trame de 75 Hz 
ou mieux de 100 Hz; cette derniere solution correspond done a un doublement de frequence. 

La solution la plus evidente pour realiser ce doublement de frequence conslste a simplement repeter deux fois a 
I'affichage chaque frame regue; c'est pourquoi un tel dispositif est appele 100 Hz AABB. II s'agit encore d'un affichage 
entrelace (on affiche les 31 2,5 lignes paires pendant 1 0 ms, puis les 31 2,5 lignes impaires pendant les 1 0 ms sulvantes, 
15 etc.). 

Les carences d'un algorithme aussi simpliste apparaissent cependant rapidement; etficace sur des images immo- 
biles, il se revefe tatiguant pour les yeux des qu'un objet se deplace sur I'ecran. Un point mobile horizontalement a I'air 
de se dedoubler, d'autant plus que sa Vitesse est grande; ceci est du au fait qu'il est vu par I'oeil au fll des Images 
successlves comme occupant deux fois une position, puis deux fois une position volsine, etc. (voir figure 1 ). Les sys- 
20 temes d'asservissement de I'oeil lui permettant de suivre un objet en deplacement sont tres perturbes par ces irregu- 
larltes, et ne lui permettent pas d'identifier ctairement le mouvement original. 

Une bonne solution conslste a detecter el calculer le mouvement des differentes parties de Timage, et a calculer 
les Images intermediatres grace a cette information; c'est la strategie qui a ete retenue id. Le defaut principal du 1 0OHz 
AABB decrit plus haut est ainsi corrige tout en conservant la suppression du papillotement 
25 Mais un autre defaut des televiseurs actuels est lie a rentrelacement des lignes affichees. Sur une image possedant 

une bonne definition, un detail fin comme une ligne de I'ecran ne sera affiche, du fait de I'entrelacement, que tous les 
1/25 de seconde (voir figure 2). Une solution conslste a afficher toutes les lignes de I'ecran a chaque balayage vertical, 
en reconstituant les lignes non transmises par Interpolation temporelle ou spatiale. On peut ators se demander pourquoi 
ne pas afficher 625 lignes pour chaque trame, avec une frequence de renouvellement de 100 Hz. 
30 SI I'on garde la frequence de trame de 100Hz, cela revient a doubler encore le nombre de lignes affichees par 

seconde, et done multiplier par quatre la frequence de balayage des lignes de I'ecran par rapport a un recepteur 
ctassique: on dit que Ton travallle a frequence ligne 4H. 

Dans un tube cathodique, la deflexion du faisceau d'electrons assurant le balayage du spot est controlee par un 
systeme d'electroaimants situes a la base du tube. Pour une frequence de balayage aussi elevee, I'essentiel de I'ener- 
55 gie absorbee par ces electroaimants est restituee sous forme de chaleur, ce qui les rend assez rapidement impropres 
a leur role en I'etat actuel de la technologie grand public. II est done necessaire de reduire la frequence ligne. 

La limite superieure actuellement atteinte est de 3H. Nous aboutissons done a consid^rer un standard base sur 
une frequence de trame de 75Hz, avec 625 lignes par trame. L'effet de papillotement est quasiment invisible a 75 Hz; 
les ecrans de certaines stations de travail, par exemple, ont une frequence de trarfie de 72 Hz, ce qui les rend beaucoup 
40 moins fatiguant a regarder qu'un ecran de television. 

L'invention propose un procede d'interpolation de trames progressives k partir de trames entrelacees. 
Les demandes de brevet europeens 95 400722.5 (D94/128I) et 95 400721.7 (D94/128I) au nom de Thomson 
Consumer Electronics SA decrivent des precedes et dispositif s de conversion d'innages d'un format 50 Hz entrelace 
en un format 100 Hz entrelace. 
45 La demande de brevet europeen EP-A-064047 egalement au nom de Thomson Consumer Electronics concerne 

une m6thode de mesure de confiance daris une estimation de mouvement dans un systeme de conversion d'images. 

L'invention a pour objet un proc6d6 de conversion de trames entretac6es en des trames progressives comprenant 
un changement de frequences de trames par interpolation et compensation de mouvement caracteris6 en ce que 

50 lorsque le vecteur de mouvement associ6 a un pixel a interpoler est non nul ou lorsque ce vecteur est nul, mais 

que la confiance accordee a ce vecteur est inferieure a un seuil donne, 

I'interpolation d'un pixel d'une trame temporellement situee entre deux trames d'entree est reallsee par un filtrage 
median portant sur les valeurs obtenues par un premier filtre temporel llneaire compense en mouvement, un se- 
cond f litre lineaire compense en mouvement et un filtre temporel median compense en mouvement 

55 

Le filtrage effectue se compose de trois filtres de base median et temporels^ combines entre eux grace a un 
operateur median. Cette combinaison possede plusieurs avantages: 
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Les filtres lineaires en eux-memes donnent des resultats corrects - quelque soit le contenu de I'image- en combi- 

naison avec la compensation de nnouvennent; tls engendrent cependant une perte de resolution, 

le prennier ftltre median permet la conservation d'une bonne resolution a I'inriage de sortie, 

le filtre median final attenue des inconventents lies a ces trois filtres precedents en interdisant les valeurs trop 

divergentes. Notamment les ecarts du premier filtre median sent limltes par la presence des filtres lineaires, qui 

generalement divergent peu. 
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Selon un mode de realisation particulier, la confiance accordee a un vecteur est une fonction lineaire de I'erreur 
engendree par ce vecteur 

L'evaluation de la confiance definie de cette maniere permet de n'utiliser la compensation de mouvement que 
dans la mesure ou celle-ci apporte des resultats suffisamment fiabtes. 

Selon un mode de realisation particulier, lesdits filtres lineaires sont fonction de deux pixels situes respectivement 
dans les frames d'entree entourant temporellement la frame a interpoler, les coefficients lineaires d'interpolation de 
chaque pixel correspondant au rapport des intervalles de temps separant la trame a interpoler et respectivement la 
trame d'entree precedente et la trame d'entree suivante. 

Selon un nrxxle de realisation particulier, lorsque la trame d'entree precedente est impaire, iedit filtre temporel 
median porte sur les trois pixels suivants; 
pour les lignes paires de la trame a interpoler 



a =P 



^ ) + Fronl(u),-J 
y- V 2 



25 



b = P 



-Rear(i,j),0 



30 



C = P 



^ |-fFront(i,j),4 
y + lJ 2 



alors: 



Pg (x.y) = med(ma +(1-m) b;med(a,b,c);mc +(1- m)b) 



40 



pour les iignes impaires de la trame a interpoler 



45 



50 



b =*»|^^Jjj + Front(M).^j 



55 



alors: 
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P2(x,y) = med((1- m)a +mb;med(a,b,c);(1-m)c +nnb)) 

ou Front(i,j) et Rear(i,j) sont les fractions du vecteur de mouvement associe au pixel a interpoler, ce vecleur etant 
5 mis a Techelle et arrondi, ou "0" et "1/2" representent respectivement la trame d'entree precedant respectivement 
suivant la trame ^ interpoler, et ou m represente un coefficient d'interpolation dependant de la position de la trame a 
interpoler entre les trames d'entree. 

Salon un nnode de realisation particulier, lorsque la trame d'entree precedente est impaire, ledil flltre temporel 
median porte sur les trois pixels suivants: 
10 Pour les lignes impaires de la trame a interpoler 



a =P 



15 



[(A) 



+ Front{i,j),1 



b = P 



20 



'^l-ReaKu).^ 



C = P 



2S 



y+1 



+ Front{u),1 



alors: 



P2(x,y)=med((l-n)a +b;med(a,b,c);(l-n)c+b) 
Pour les lignes paires de la trame a interpoler 



35 



40 



45 




alors: 

50 

P3(x>y) = med(na +(1 -n)b;med(a,b,c);nc +(1 -n)b) 

ou Front(i,j) et Rear(i,j) sont les fractions du vecteur de nnouvement associe au pixel a interpoler, ce vecteur etant 
55 mis a I'echelle et arrondi, ou "1/2" et "1" representent respectivement la trame d'entree precedant respectivement 
suivant la trame ^ interpoler, et ou n represente un coefficient d'interpolation dependant de la position de la trame k 
interpoler entre les trames d'entree. 

Selon un mode de realisation particulier, les deux pixels utilises pour chaque filtre lineaire sont choisis dans le 
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15 



25 



groups de trois pixels utilise par le filtre temporel median. 

Selon un mode de realisation particulier. les trames entrelacees d'entree sont issues d'images progressives d'en- 
tree de frequence 25 Hz et que la frequence des trames de sortie est de 75 Hz, una premiere frame de sortie etant 
temporellement confondue avec la seconde trame issue d'une premiere image d'entree, une seconde frame de sortie 
etant temporellement situee entre ladite premiere trame d'entree ef la premiere trame issue d'une seconde image 
d'entree, une troisieme trame de sortie etant temporellement situee entre les deux trames d'entree issues de ladite 
seconde image d'entree. les coefficients d'interpolation utilises par lesdits filtres temporels sont de 1/2 pour ladite 
seconde trame de sortie. 

L'utilisation de coefficients 1/2 permet d'obtenir une reduction notable des mouvements saccades par rapport a 
I'utilisation de coefficients 1/3 el 2/3 tires de la position relative de la seconde frame de sortie entre les deux premieres 
trames d'entree. 

Selon un mode de realisation particulier, les pixels de ladite troisieme trame de sortie sont les pixels de la seconde 
image d'entree. 

Dans le cas particulier de la conversion dite "mode film", la troisieme trame de sortie correspond en fait a la seconde 
image d'entree. Celle-ci aura eventuellement sub! les reductions de bruit mentionnees dans la description de I'exemple 
de realisation particulier. 

Selon un nhode de realisation particulier, lorsque le vecteur de mouvement associe a un pixel a interpoler est nul 
et que la confiance dans ce vecteur depasse un seut! donne, alors la valeur du pixel a interpoler est la valeur finale 
obtenue par filtrage median entre premierement les deux valeurs de pixels obtenues en retirant, respectivemenl ajou- 
tant la confiance du vecteur de mouvemenl ramenee au pixel divisee par un facteur correctif a la valeur du pixel de 
meme position que le pixel a interpoler dans, selon le cas, la trame d'entree precedents ou la trame d'entree suivante, et 
deuxiemement une valeur de repli qui resulte d'un filtrage lineaire temporel et horizontal sur les pixels des lignes 
des trames d'entree precedente et suivante de position identique a la ligne contenant le pixel a interpoler, un filtrage 
spatial vertical etant effectue le cas echeant sur les lignes non definies des trames d'entree. 

Selon un mode de realisation particulier, la valeur de repli est egaie a: 



30 



Fallback(x,y) = -^(l 2 3 4 3 2 1) 
1 6 



m 



fP(x-3,y,0)^ 
P(x-2,y,0) 
P(x-ly,0) 

P(x,y,0) 
P(x+1,y,0) 
P(x+2,y,0) 
P(x+3,y,0) 



-fd-m) 



^P(x-3,y,I)^ 
P(x-2,y4) 
P(x-ly,I) 

P(x,y,I) 
P(x+ry,l) 
P(x + 2,y,^) 
P{x+3.y,^)J 
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45 



ou "0" designe la trame d'entree precedant la trame k interpoler et "1/2" la trame d'entree suivant la trame h 
interpoler, et ou m represente un coefficient de ponderation dependant de la position temporelle de la trame a interpoler 
entre les trames d'entree. 

Selon un mode de realisation particulier, interpolation d'un pixel d'une ligne de parite donnee d'une trame dont 
les lignes de parite opposee sont egates aux lignes d'une trame d'entree est realisee, lorsque le vecteur de mouvement 
associe n'est pas nul ou que la confiance accord6e a ce vecteur est faible, moyennant un filtrage median portant sur 
les valeurs obtenues 



premierement par un filtrage Iin6aire vertical, 

deuxiemement par un filtrage median spatio-temporel vertical sur deux pixels et compens6 en mouvement sur un 
50 pixel et 

troisiemement par un filtrage median spatio-temporel portant sur quatre pixels en croix et compense en mouvement 
sur un pixel. . 



Ce type d© filtrage k deux niveaux presents les memes types d'avantage que ceux presentes pour le filtre pr6cG- 
55 dent. En outre, de par la presence de filtres medians selon une direction verticale et deux directions diagonales, une 
bonne restitution des structures fines dans ces directions est assuree. 

L'influence des pixels de I'image d'entree courante est forte: la majority des pixels utilises appartiennent k cette 
image. Ceci reduit I'effet d'erreurs d'estimation de mouvement. 



5 



EP 0 781 041 A1 



Selon un mode de realisation particulier, ledit filtrage lineaire vertical est le suivant: 



5 




ou "0" represente la position temporelle de la trame a interpoler. 
Selon un mode de realisation particulier, ledit filtrage spatio-temporel vertical sur deux pixels et compense en 
10 mouvement sur un pixel est: 



15 



F2(x,y) = med 



,0 



;P 



y + V 



20 



OU Vx et Vy sont les coordonnees d'un vecteur de mouvement associe au pixel a interpoler, et ou "0" represente 
la trame k interpoler et "1/2" la trame d'entr^e suivante. 

Selon un mode de realisation particulier, ledit filtrage spalio-lemporel portant sur quatre pixels en croix et sur un 
pixel compense en mouvement est: 



25 



F3(x,y) = med 



;P 



x-1 

v + 1 



1.0 



;P 



x + 1 
y-1 



,0 



;P 



f^X+ V ^ 
X 

y + V 



LV 



30 Selon un mode de realisation particulier, lorsque le vecteur de mouvement associe a un pixel a interpoler est nul 

et que la confiance dans ce vecteur est superieure a un seuil donne, aiors ledit pixel prend la valeur du pixel de meme 
position dans la trame d'entree suivante. 

D'autres caracteristiques et avantages de I'invention apparaitront h travers la description de I'exemple de realisa- 
tion non limitatif decrit dans ce qui suit et illustre a I'aide des figures parmi lesquelles: 

35 

la figure 1 est un diagramme repr'esentant les tranaes d'entree et de sortie du present precede par rapport a I'axe 
du temps, 

la figure 2 est un diagramme bloc d'un dispositif mettant en oeuvre le procede conforme au present exemple de 
realisation, 

40 - la figure 3 represente un chronogramme des trames a certains points du dispositif de la figure 2, 

la figure 4 represente une image comportant des structures periodiques, ainsi qu'un exemple de vecteurs de 
mouvement pouvant etre g6neres pour une telle image, 

la figure 5 represente un hiistogramme des erreurs d'une ligne d'une matrice d'erreur liee a une composante ver- 
ticale d'un vecteur de nnouvement donnee et contenant la plus petite erreur de la matrice, 
45 - la figure 6 illustre le proced6 mis en oeuvre pour tenir compte de blocs pehodiques dans la determination du champ 
de vecteurs de mouvement d'une image, 
la figure 7 represente deux f litres passe-bas, 

la figure 8 represente les trames 1 , 2 et 2/3 et la position d'un sous-bloc par rapport aux blocs principaux dont les 
vecteurs sont selectionn^s en tant que vecteurs candidats pour le sous-bloc, 
so - la figure 9 represente les trames 1 , 2/3 et 3 et la position d'un bloc intermediaire par rapport aux blocs principaux 
dont les vecteurs sont utilises en tant que vecteurs candidats, 

la figure 10 (a) represente une fonction non lindaire utilisee par le procede de reduction de bruit temporelle recur- 
sive, 

la figure 10 (b) est uri diagramme bloc d'un filtre de reduction de bruit temporelle recursive, 
55 - la figure 11 represente un filtre spatio-temporel de type median utilise pour 1' interpolation de la trame 1 , 
ia figure 12 illustre un probleme lie k la presence de structures periodiques dans I'image; 
la figure 1 3 donne deux exemples de mise en oeuvre du filtre spatio-temporel utilise pour I'interpolation de la trame 
2, 
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la figure 1 4 donne deux exemples de mise en oeuvre du filtre spatio-temporel utilise pour rinterpolation de la trame 
3. 

la figure 15 represente un chronogramme des trames a certains points du dispositif de la figure 2 lors du mode 
film, et 

5 - la figure 1 6 comprend trois schemas (a.b.c) de trames par rapport au temps illustrant respectivement le mode de 
fonctionnement normal pour des trames video, ie mode de fonctionnement normal pour des trames film et le mode 
de fonctionnement specifique pour des trames film. 

L*invention sera expliquee en relation avec un procede de conversion de frequence d'images de television de 50 
10 Hz entrelaces a 75 Hz progressits. 

Deux demandes de brevet deposees conjointement le meme jour traitent d'autres aspects de ce procede. 

Conventions 

15 Une periode est definie comme etant I'intervalle temporal permettant d'atficher une trame de sortie, soit 1/75 se- 

condes. Un cycle est defini comme etant I'intervalle de temps necessaire pour un cycle complet de I'algorithme, soit 
trois periodes 6u 1/25 secondes. 

Le procede se repete identtque a lui-meme toutes les trots trames de sortie ou toutes les deux trames d'entree. 
Par convention, la premiere trarne de sortie porte le num6ro 1 , la deuxtdme trame porte le num6ro 2, et ainsi de suite. 
20 Mais du fail que le traitement est cyclique, tea trames 1, 4, 7 ... seront generees de fa9on identique; on les appellera 
des trames de type 1 . De meme, les trames 2, 5, 8 respectivement les trames 3, 6. 9... seront generees de fa9on 
identique et respectivement appelees trames de type 2 et 3. 

Par convention, les trames d'entree seront numerotees par reference a la positbn qu'elles occupent vis-a-vis des 
trames de sortie. Ainsi, une trame d'entree correspondant temporellement a une trame de sortie portera le meme 
2S numero que cette trame de sortie. Une trame d'entree situee entre deux trames de sortie portera les numeros de ces 
deux trames: par exemple, une trame d'entree situee entre les trames de sortie 2 et 3 sera appele© trame 2/3. 
La figure 1 illustre les positions respectives des trames d'entree et de sortie. 

La trame d'entree numero 1 comporte la premiere ligne affichee a I'ecran d'un televiseur; elle a ete indicee ligne 
0. Cette trame, done la trame d'entree impaire. est formee des ligne 0. 2. 4, . .. 624. Une trame 2/3, paire, comportera 
30 les lignes 1 , 3, 5, . .. 623. La variable y representera les numeros de ligne, croissantes du haut vers le bas de I'ecran. 
dans le sens du balayage. La variable x sera utilisee pour designer I'abscisse d'un pixel et croit de gauche a droite 
egalement dans le sens du balayage. t representera le temps, normalise de \agon a ce qu'une unite temporelle repre- 
sente un cycle. La trame 1 sera situee au temps 0. la trame 2/3 au temps 1/2 et la trame 4 au temps 1 . 

Les trames de sortie comporteront tous les numeros de ligne, puisque ce sont des trames progressives. Le signal 
35 de luminance a la position d'un pixel donn6 sera represente par la variable P(x,y.t). 

Schema general 

Avantageusement, le procede de conversion decrit et le dispositif de mise en oeuvre ne necessitent qu'une seule 
40 memoire de trame. Cette contrainte s'explique par le fait que le procede est destine a etre implemente dans des 
appareils grand public fabriques en grande serie. La reduction du cout de mise en oeuvre du point de vue materiel est 
done un facteur important. 

La figure 2 est un diagramme bloc du dispositif de mise en oeuvre de ('invention. Chaque element sera vu en detail 
par la suite. 

45 Le dispositif comporte une memoire vive 1 organisee en FIFO et destinee a augmenter la frequence des trames 

de 50 6 75 Hz, en r6petant en lecture une trame sur deux. La memoire 1 regoit done en entree des trames a la frequence 
de 50 Hz et toumit des trames ^ la frequence de 75 Hz. 

Le dispositif comporte d'autre part un circuit de reduction de bruit 2, comprenant deux filtres; un filtre spatial destine 
a r^uire principalement les bruits de type impulsionnel, et un filtre tempore! recursif . Le filtre spatial re9oit les trames 
50 issues de la memoire 1, puis transmet les trames filtrees au filtre temporel. Le filtre temporel regoit egalement une 
trame dite trame projetee, composee d'informations de trames precedemment traitees. Le fonctionnement du filtre 
temporel sera vu plus en detail ult§rieurement. 

Une trame filtree temporellement est stockee dans une memoire trame 3 et transmise ci un interpolateur 4. L'in- 
terpolateur 4 realise rinterpolation entre deux trames d'entree pour foumir les trames de sortie du dispositif. L'interpo- 
55 lateur 4 revolt des vecteurs de mouvement de la part d'un circuit d'estimation de mouvement 5. L'estimation de mou- 
vement est realisee entre la trame stockee dans la memoire de trame 3 et la trame "courante" lue dans la memoire 1 . 
Un certain nombre d'informations relatives ^ l'estimation de mouvement sont utilisees lors de la reduction de bruit. 
La figure 3 comporte les chronogrammes relatifs aux trames trait 6es par les differents 6I6ments du dispositif de 
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la figure 5. Les lettres identifiant cheque chronogramme correspondent aux lettres identifiant les connexions entre les 
elements de cette derniere figure. 

Une trame est representee sous la forme d'une dent de scie correspondant au balayage de cette frame. 

Le premier chronogramme (I) correspond aux frames d'entree de la memoire 1 , c'est a dire aux trames entrelacees 
5 a 50 Hz. La trame 1 est impaire, la frame 2/3 est paire etc... 

Le second chronogramme (A) correspond a la sortie de !a memoire 1 : les trames sont relues a une vitesse de 75 
Hz. La trame 1 (et les frames 4, 7 ...) est lue une fois, la lecture debutant avant meme que Tecrifure ne soit achevee. 
La trame 2/3 (ef les trames 5/6, 8/9 ...) est lue deux fois. 

Le froisieme chronogramme (G) represente la sortie de la memoire trame 3. Cette memoire maintient un ecart 
10 temporal d'une trame entre sa trame d'entree ef celle a sa sortie, pour que I'lnterpolation putsse se faire correctement. 
Dans ce but, la memoire ne se comporte pas simplement comme un retard d'une trame. SI cela etait le cas^ la frame 
filtree 2/3 serait a la fois presente a Tenfree de la memoire et a sa sortie. C'est done la trame filtree 1 qui est repetee 
deux fois a la sortie de la memoire de trame. 

Le quatrieme chronogramme (B) represente tes periodes de calcul des informations fournies par I'esfimateur de 
15 mouvement au reste du dispositif. Comme on le verra plus en detail par la suite, Testimateur de mouvement se comporte 
differemment a chaque periode d'un cycle donne. Pour les trames de type 1, des vecteurs de mouvement grossiers 
sont calcules (reference "MB") pour des blocs larges (appeles blocs principaux), tandis que des vecteurs de mouvement 
plus fins sont determines pour les deux autres trames (reference "SB") pour des sous-blocs des blocs principaux. Le 
calcul des vecteurs pour les souB-blocs se base sur les vecteurs grossiers des blocs principaux. La r6f6rence 'MB1// 
20 2/3" du chronogramme indique par exemple la periode de I'estimation de mouvement "grossiere" entre la trame 1 et 
la trame 2/3. 

Le cinquieme chronogramme (C) concerne la sortie du filtre spatial du circuit de reduction de bruit. Ce filtrage se 
fait directement sur la trame lue dans la memoire 1 . 

Le sixieme chronogramme (D) represente la trame projetee comparee par le circuit de reduction de bruit a la frame 
25 filtree spatialement. 

Le septiem© chronogramme (E) indique la sortie du filtre temporel et par consequent I'entree de I'interpolateur 4 
et de la memoire de trame 3. 

Le dernier chronogramme indique la sortie de I'interpolateur et done la sortie du dispositif en soi. 

30 Estimateur de mouvement 

L'esfimateur de mouvement travaille selon le procede de comparaison par blocs hierarchisee. Ce procede se 
deroule en deux etapes. On commence par diviser I'image en blocs grossiers ou blocs principaux de 1 6*32 pixels dont 
on determine le mouvement, puis on divise ces blocs principaux en sous-blocs pour affiner le champ des vecteurs. 
35 L'esttmation est effectuee pour le signal de luminance, qui contient generalement des informatbns suffisantes 

pour decrire !e mouvement des objets sur I'ecran. Bien entendu, il est possible d'utiliser egalement rinformation de 
chrominance ou de combiner les informations de chrominance et de luminance pour restimation. 

Avant toutes choses. on procede a un sous-echantillonnage des frames d'entree par un facteur 2 dans les directions 
horizontales et verticales. On divise ainsi par quatre les calculs necessaires a Vestimation. Les trames sous-echan- 
40 tillonnees ne seront cependant utilisees que pour Tesfimation de mouvement L'interpolation des trames de sortie se 
fera a partir des trames completes. 

Ce sous-echantilionnage resfreint naturellement les composantes des vecteurs de mouvement a des valeurs pai- 
res. Ceci n'est pas genant dans le sens vertical, puisque cette contrainte est deja imposee par Tentrelacemenf des 
frames ^ la diffusion. 

45 Lors du sous-echantillonnage, on ne gardera que les Itgnes impaires et les colonnes paires. On continuera ce- 

pendant ^ rep6rer les points de I'image a I'aide du systeme de coordonn6es utilise jusqu'ici, en s'interdisant les pixels 
n'appartenant pas au domaine sous-6chantillonn6. 

Selon le present mode de realisation, avant de proceder au sous-echantillonnage, on applique a la trame un filtre 
passe-bas destine a supprimer les hautes frequences spatiales, sources de superposition spectrale. Pour ce faire, en 

so horizontal, on utilise par exemple une fenetre friangulaire h sept coefficients: 



55 



8 



EP 0 781 041 A1 



10 



PhorizontaK x. 



.V,t) = -^[1 2 3 4 3 2 1] 
1 6 



P(x-3,y,t) 
P{x-2,Y,t) 
P{x-1,y,t) 

P(x,v,t) 
P(x+1,y,t) 
P(x+2,y,t) 
P(x+3,y,t) 



^5 Dans la direction verticale, on procede egalement a un filtrage. Comme on ne garde que las lignes impaires, ceta 

correspond aux numeros de lignes verticalement interpoiees de la trame d'enlree 1 et aux numeros des lignes d'entree 
de la trame 2/3. Afin d'harmoniser les contenus spectraux des deux trames d'entree sous-echantillonnees, on procede 
a un filtrage passe-bas de la trame d'entree 2/3: 



20 



25 



1 1 

Psous - 6chantillonn6(x,y,— ) = — 



PhorizontaK x,y- 2,—) 
1 

+2Phori2ontal(x,y,— ) 
+Phorizontal(x,y + 2,-^) 



30 



35 



Pour les trames de type 1 , on genere des lignes impaires en utilisant une simple moyenne verticale: 



Psous-6chantillonn6 (x.y.O) = -[ Phorizontal(x,y-1,0) + Phorizontal(x,y+1,0)l 



Les fonctions Psous - echantlllonne( x,y,0) et Psous-echantillonne(x,y,^) ne sont definies que pour x pair et y 
impair. Pour simplifier, les trames sous-echantillonnees seront notees P'(x,y,t). Les fittres utilises sont representes k 
la figure 7. 

Comme cela a deja ete mentionne, le procedd d'estimation hierarchise se'^comporte differemment pendant les 
40 trois periodes d'un cycle: 

pendant la periode 1, on calcule les vecteurs correspondant aux blocs principaux. representatifs du mouvement 
entre les trames 1 et 2/3, 

45 - pendant la periode 2, on calcule les vecteurs correspondant aux sous-blocs, repr6sentatits de fagon plus precise 
du mouvement entre les trames 1 et 2/3, le calcul se faisant a I'aide des vecteurs determines pendant la periode 1 , 



so 



pendant la periode 3, on calcule les vecteurs correspondant aux sous-blocs, representatifs du mouvement entre 
les trames 2/3 et 4. Dans ce demier cas, le calcul se fait a partir de vecteurs de blocs intermedial re s^ qui sont 
constitues de vaieurs rafraichies des vecteurs correspondant aux blocs principaux. 



Determination du champ de vecteurs qrossiers entre les trames 1 et 2/3 

L'Image est tout d'abord decoupee en blocs principaux de 32*16 pixels. Comme la taille d'une Image active est 
ss de 720*576 pixels pour la frequence d'echantillonnage standard, on a ainsi 23 blocs principaux par ligne et 36 par 
colonne. 

Pour un bloc principal Indice (1 j) avec i comprls entre 0 et 22 et j compris entre 0 et 35 et appartenant par definition 
a la trame d'arrlvee (!a trame temporellement la plus recente), done une trame 2/3 ou equlvalente, on d6ftnlt I'erreur 
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commise pour un vecteur de mouvement (u.v) par: 



k = 0,2.4 30 

Eii.j){u,v)= 

I = 0,2,...,14 





7m, 'i + k"! 






,X-M2 


p" 




-P' 




|My*i + lJ'\ 







?o avec Mx=32, taille en abscisse d'un bloc principal 

et My = 16, taille en ordonnee d'un bloc principal. 
On calcule alors la matrice des erreurs pour chaque bloc principal: chaque element de cette matrice correspond 
a une erreur liee a un vecteur de mouvennent possible, soit: 

Err(i,j) = (E(i,j)(u,v)) pour u:^ -16,-14, ...,1 4, 16;v= -4,-2,0,2,4 
^5 Les composantes des vecteurs de mouvement sont paires et comprises respectivement entre -16 et +16, et -4 et 

+4. On compare done le bloc principal considere a des blocs d'une fenetre de recherche d'une trame precedente, cette 
fenetre de recherche etant srtuee autour de ta position du bloc principal rapportee a cette trame precedente. Le vecteur 
retenu parmi I'ensemble des vecteurs est note (u',v') et correspond au minimum de la fonction d'erreur. 
Errmin = min(E(i,j)(u,v)) = ,Err(iJ)(u',v') 
20 pour u= -16,-14,..,, 14,16 et v= -4,-2,0,2,4 

Le champ de vecteurs de I'image entiere est calcule en balayant, bloc par bloc, et en appliquant cette recherche 
a chaque bloc principal. 

On precede par ailleurs lors du calcul du champ de vecteurs de niveau bloc principal a une estimation du bruit de 
I'image. On calcule pour ce faire une valeur supplementaire: I'erreur maximale de la matrice: 
25 Errmax- max(E(j jj(u,v)) 

pour u= -16,-14,..., 14,16;v= -4,-2,0,2,4 
Errmin represente une estimation de la somme de deux bruits: le bruit inherent au signal de luminance, et le bruit 
de quantification des vecteurs de mouvement. En effet, si le vecteur de mouvement que Ton a calcule correspond bien 
au mouvement reellement present dans I'image, Errmin sera la somme des differences de luminosite existant dans 
30 deux surfaces identiques de la taille d'un bloc principal: ces differences auront alors pour unique origine le bruit de 
I'image. 

Par contre, si du fait de la quantification des vecteurs possibles^ le mouvement est mal represente par le vecteur 
calcule, alors s'ajoutera au bruit precedent une composante due a I'erreur faite sur ce vecteur: Errmin sera trop severe 
pour definir le bruit reel de Timage. 
55 On definit par consequent un second estimateur, a savoir Errmax-Errmin. li est lui aussi fonction du bruit de quan- 

tification de I'image. Sur une zone uniforme, la difference entre I'erreur maximale et I'erreur minimale provient unique- 
ment du bruit de I'image. Si le bruit de quantification est fort, alors Errmin et Errmax sont affectes tous les deux; on 
peut esperer que cet estimateur est moins sensible au bruit de quantification, 6limine par la differenciation. 
On definit d'autre part deux estimateurs Errminabs et Noiseest: 



Err min abs - min {Err min (/ , 7), (Err max - Err min )(/ , j)} 

/ = 0,...,22 

45 7 = 0,.. .,35 



Noiseest = min {Err min (/ , 7 ) } 

Corrections apportees aux calculs de la periode 1 

55 Selon une vahante de realisation, une premiere correction est apportde lorsque I'image comporte des zones uni- 

formes. 

Sur une zone uniforme, comme un morceau de ciel bleu, la matrice des erreurs est approximativement constante. 
Les fluctuations sont dues a la presence de bruit dans I'image. Le vecteur calculi par I'intermediaire du procede con- 
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10 



15 



20 



forme a Tinvention est done imprevisibte. et il peut en resulter une forte heterogeneite du champ de vecteurs, ce qui 
est prejudiciable a la suite du precede. En presence de telles heterogeneites, on decide de forcer le vecteur corres- 
pondant a zero. 

Ce forgage est en fait realise composante par composante. En effet. si on considere une frontiere horizontate dans 
I'innage (une falaise surnrtontee de ciel bleu par exemple), la composante u du vecteur de mouvement n'est pas fixee 
car les erreurs sont constantes sur chaque ligne de la matrice. On force done cette composante a zero. De meme pour 
la composante v en cas de frontiere verticale. 

Selon le present exemple de realisation, le critere employe pour determiner si une composante de vecteur doit 
etre forcee a zero est lie au niveau de bruit calcule ci-dessus. 



Si Err(i,j)(0,v)-Err(i,j)(u,v)<Errminabs*seuil_ X alors u=0 

Si Err(i,j)(u,0)-Err(i,j){u,v)<Errminabs*seuil_y alors v=0 

avec Errminabs = min{Errmin(i,j),(Errmax-Errmin)(i,j)} 

i = 0,...,22 



j = 0,...,35 



Les valeurs seuil_x et seuil_y sont par exemple egales a des multiples de 2: 2, 4, 8... 

En elair. si la difference entre les erreurs engendrees par le vecteur de composante nulle et le vecteur trouve par 
25 I'cstimation de mouvement est du meme ordre de grandeur que le bruit estime inherent a I'image, alors la correction 
est apportee. 

Selon le present exemple de realisation de I'invention, une correction est apportee lorsque I'image contient des 
structures periodiques. 

Le probleme pose par ce genre de structure a deja ele aborde en introduction. Les figures 4 et 12 permettent 
30 cependant de le preciser pour mieux comprendre la detection et la correction envisagees. 

Le bloc en grise de la figure 4 represente le bloc dont le mouvement est a determiner, tandis que les deux blocs 
en pointille representent deux blocs dans I'image de reference donnant lieu a un minimum d'erreur dans la matrice 
des erreurs. Un vecteur incorrect generera des defauts tres perceptibles lors de 1' interpolation des frames de sortie. 
Ces defauts sont illustres en gros plan par la figure 12, ou le vrai mouvement d'un bloc entre deux frames de parite 
35 opposee est donne par un vecteur ayant une composante horizontale de +2. Si le vecteur de mouvement est nul, alors 
les defauts illustres dans la partie droite de la figure apparalssent lors de I'entrelagage. La hauteur des lignes a 6te 
exageree pour bien nnontrer les defauts. 

Dans le cadre du present exemple de realisation, on se restreindra a une periodicite horizontale (par exemple un 
zebre h rayures verticales), etant donn6 que la taille des blocs principaux et la'gamme des composantes verticales 
40 possibles des vecteurs de mouvement rendent peu probable ce type d'erreur dans la direction verticale. La gamme 
des composantes verticales est trop restreinte pour permettre une d6tectbn ou une correction efficace. Neanmoins, 
I'homme du metier pourra facilement adapter la correction decrite ci-apres k notamment une periodicite verticale. 
Deux etapes seront maintenant abordees: la detection, puis la correction de ce type d'erreur 
La detection de ce type de defaut est effectuee ^ partir de la matrice des erreurs Err En etfet, la ligne contenant 
45 le minimum des elements de la matrice contiendra aussi un ou plusieurs minima secondaires comma expliqu6 ci- 
dessus. 

Tout d'abord, on exirait de la matrice la ligne (Row(u)) des erreurs contenant le minimum avec -16< =u< = +16. 
Soil umin I'indice du minimum dans Row(u). On commence par d6tecter le minimum secondaire. II se caract6rise 
comme §tant un minimum local: 
so Row(u-1)> Row(u) et Row(u + 1)> Row(u) 

Parmi les minima secondaires rdpondant au critere, on ne retient que le plus petit. Soit Usee min son indice dans 
la ligne Row(u). On delecte ensuite le maximum secondaire, situ6 entre les positions umin et usec_min. II se caract^rise 
comme etant un maximum local: 

Row(u-1 ) < Row(u) et Row(u + 1 ) < Row(u) 
55 Parmi les maxima secondaires repondant au critere, on ne retient que le plus grand. Soit usec_max son indice 

dans Row(u). 

L*histogramme de la figure 5 represente un exemple caracteristtque d'une telle situation. 

On soumet le minimum secondaire et le minimum absolu, ainsi que le maximum secondaire k deux tests supple- 
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mentaires pour s'assurer de !a presence d'une structure periodique: 
les deux minima doivent etre proches en valeur (CI), 

la difference entre eux et le maximum secondaire doit etre significative par rapport au niveau de bruit courant (C2). 

5 

Ces precautions doivent etre prises pour eviter que ne soit considere comme periodique un bloc principal au bord 
du zebre. En effet, un bloc principal peut etre a cheval sur le bord du zebre, une moitie appartenant a I'animal, I'autre 
a la savane. Ce bloc peut donner un minimum d'erreur, qui sera cependant superieur aux minima lies a une periodicite. 
On evite aussi ainsi de considerer comme periodique une matrice d'erreur bruitee. 
10 On notera: 

Errmin = Row(umin) 
Errmax - Row(umax) 
Err_sec_min - Row(usec_min) 
'5 Err_sec_max = Row{usec_max) 

On impose les conditions suivantes: 

(CI) Err_sec_min - Errmin < a*Errmax 
20 (C2) Err_sec_max - Err_sec_min > b*Errminabs 

(C3) Errmax > c*Errminabs 

Selon le present exemple, on prendre 

25 a=0.5 
b=2 
c=4 

Une ligne d'erreur verifiant toutes les conditions sera issue d'une matrice associee a un bloc contenant vraisem- 
30 blablement une structure periodique. 

Selon une variante de realisation, on combine uniquement les deux premieres conditions. 
11 s'agit ensuite de corriger le vecteur associe h ce bloc principal. 

Pour cela, il ne suffit pas de prendre en compte uniquement le bloc principal periodique. Si Ton se rapporte au 
dessin du zebre, en supprimant par la pensee toute la partie de I'animal qui n'est pas comprise dans le bloc principal, 

j3 5 ^ ^p^ Qbitig^^ 

ce rectangle, on trouvera plusieurs rectangles rayes possibles, sans pouvoir decider lequel devra etre pris en compte. 
Pour faire ce choix, on procede a I'agrandissement progressif du bloc principal pour lever ['incertitude. Le procede est 
illustr6 par la figure 6, ou les blocs en grise sont les blocs periodiques d'une ligne de I'ima'ge. 

Dans une ligne donnee, la detection d'un bloc principal periodique va signaler que Ton a trouve toute une zone de 
40 I'image contenant une structure periodique. On ne retiendra pas tout de suite le vecteur de mouvement de ce bloc 
principal; on stockera par contre la matrice d'erreur correspondant a ce bloc. 

On passe au bloc principal suivant sur la meme ligne, S'il est lui aussi periodique, on stocke k nouveau sa matrice 
d'erreur. On finira par arrive r k la fin de la structure periodique, en I'occurrence le bord droit du zebre. 

Soient (i1,J1) les coordonnees du premier bloc principal periodique rencontre, et (i2,J1) celles du dernier. On 
45 procede au cumul membre a membre de toutes les matrices stockees. On obtient une matrice dont les composantes 
vaudront: 

pour tout ue[-1 6,-14,..., 14,1 6] et pour tout ve[-4,...,4] 

50 

5ww(i/.v)= T.ErriiJ)(u,v) 
/ = /l,/2 

On aurait obtenu la meme matrice d'erreurs si on avait applique I'algorithme de base k un bloc principal de largeur 
((2-i1 +1) fois la largeur d'un bloc principal unique. La matrice d'erreur a bien evidemment la memetaille. 
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Cette matrice ne suffit pas encore pour determiner le bon vecteur de mouvement. II laut considerer les blocs au 
debut et ^ la fin de la structure periodique. En effet. ces blocs contiennent en general le bord de la zone periodique 
en mouvement et permettent done de lever i'ambiguite des informations contenues dans la matrice d'erreur 

Apres avoir determine la matrice ci-dessus, on precede de la maniere suivante: 

5 

on considere les vecteurs des deux blocs principaux en debut et fin de la structure periodique. Pour chacun, on 
extrait de la matrice Sum I'erreur correspondante. Le vecteur dont I'erreur est la plus petite sera retenu^ 
si ce vecteur ne correspond pas a un minimum local de sa ligne de la matrice d'erreur Sum, on selectionne le 
minimum de la matrice d'erreur et on retient le vecteur correspondant, 
10 - enfin, pour obtenir un coherence verticale entre les blocs periodiques adjacents, on teste si un des blocs imme- 
diatement superieurs a cette rangee de blocs periodiques est egalement periodique et dans ce cas, on retient son 
vecteur, a condition toutefois qu'il corresponde bien a un minimum dans la ligne de la matrice d'erreur 

Le vecteur retenu sera ainsi le vecteur utilise pour Tensemble des blocs de la structure periodique. 
^5 Apres avoir etfectue la determination des vecteurs et eventuellement la premiere et ou la seconde correction, on 

obtient un champ de vecteurs note: 
M§(/,y) avec 0<i<22 et 0<^35 

Affinage de la resolution spatiale du champ de vecteurs 

20 

Cette phase du procede est utilisee deux fois de suite, pendant les periodes 2 et 3. 

II s'agit d'essayer de caracteriser plus finement le mouvement en attribuant des vecteurs a des elements plus 
petits: les sous-blocs (qui, selon le present exemple ont unetaille de 4*4 pixels). Ceci permettra d'obtenir une meilleure 
adequation du champ de vecteurs aux bords d'objets nrjobiles. 
25 Selon le present exemple, it y a 180 sous-blocs dans une largeur d'image et 1 44 sous-blocs en hauteur. 

Conformement au present exemple de realisation, on ne recalcule pas I'ensemble des erreurs associees a la 
gamme entiere de vecteurs de mouvements possibles comme cela a ete fait pour les blocs principaux. On choisit pour 
chaque sous-bloc des vecteurs candidats parmi les vecteurs des blocs principaux et on determine I'erreur generee 
par chacun de ces vecteurs candidats. 
30 Dans le cadre du present exemple, les vecteurs candidats pour un sous-bloc sont les vecteurs des quatre blocs 

principaux les plus proches de ce sous-bloc. Le vecteur engendrant I'erreur la plus faible sera attribue au sous-bloc. 

Le fait d'utiliser des vecteurs candidats associes a des blocs phncipaux adjacents au bloc contenant le sous-bloc 
considere permet de determiner precisement les bords des objets mobiles, et par consequent les frontieres des zones 
de mouvement unilorme: si !e bord d'un objet en mouvement depasse juste un peu dans un bloc principal, le vecteur 
35 trouve pour ce dernier sera un vecteur indiquant I'arriere-plan et non I'objet en mouvement, parce que la plus grande 
partie des pixels de ce bloc principal appartiennent a cet arriere-plan, dont le mouvement peut etre different de celui 
de I'objet Par consequent, le bord de I'objet ne sera pas reconstitue de maniere correcte. 

Par contre, si pour les sous-blocs du bord de I'objet, on considere aussi les vecteurs des blocs principaux adjacents, 
le mouvement de ces sous-blocs sera correctement estime, puisqu'au moins urf des blocs principaux adjacents fera 
40 partie de I'objet en question. 

Trame 2 

On cherche k determiner le champ de vecteurs minimisant la difference des luminances des sous-blocs entre les 
45 trames 1 et 2/3. Cependant, c'est !a trame de sortie 2 qui sera finalement affichee. Pour ameliorer la precision, on 
considere par consequent les sous-blocs comme faisant partie de cette trame 2. 

Pour chaque sous-bloc de la trame 2, on determine quatre blocs principaux adjacents de la manidre suivante: on 
projette orthogonalement te sous-bloc sur la trame 2/3 (voir figure 8). Les quatre blocs les plus proches seront alors 
choisis comme suit: 

50 Si on parle du sous-bloc (i,j) (0<i<180, 0<j<144), on dira que les 4 blocs principaux pertinents sont: 

Si imod8< 4 alors i'=-1 sinon i'=1 

Si jmod4< 2 alors j'=-1 sinon j'=1 

Rel^jjj(1)=MB(iv8,jv4) 

Rel(i ij (2) = MB(i v 8 + i'.j v 4) 
55 Rel^ijj (3) = MB(i V 8.j V 4 + j') 

Ret(i,j) W = MB(i V 8 + i'.j v 4 + j*) 

ou le quotient de la division euclidienne de a par b est note avb et son reste amodb. 

Une fois les vecteurs candidats choisis, il faut les comparer entre eux. Comme indique plus haut, le sous-bloc fait 
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partie de la trame affichee. Le vecteur du bloc principal en question est done mis k Techelle. On commence par en 
calculer les 2/3, et on arrondit le resuttat. On obtient ainsi le vecteur de mouvement entre la trame 1 et la trame 2. Le 
vecteur restant correspond au mouvement entre la trame 2 et la trame 2/3. Si on appelle ces deux vecteurs respectl- 
vement rear vector e\ front vector, on a: 



10 



IS 



Pour m = 1,2,3 
Rear (y)(m) = int[^~--Rel (i.i)(m) 
Front = Rel (--)(m)-Rear ^,.^{m) 



On calcule ensuite les quatre erreurs assoclees & ces quatre vecteurs: 



20 



25 



Pour m= 1,2,3,4 



Erra,(m)= ^ P' 

k=a2 
1=0,2 



\ "1 



-P' 



rs -i + k 



i + k^ . / . 



35 



ou Sx et Sy representent les tallies en pixels en abscisse et en ordonnee d'un soubloc. 

Le vecteur du sous-bloc sera le vecteur donnant une erreur minimale. En balayant tous les sous-blocs, on obtient 
un champ de vecteurs not6 Raw(i,j). 

Selon une variants de realisation, les composantes des vecteurs de ce champ sont soumises a un filtrage median 
pour eliminer les valeurs aberrantes; en eft et, une petite erreur sur un sous-bloc est moins visible qu'une heterogeneity 
locale du champ de vecteurs. 

Solent: 

a = (1 0)*RaW(i.i a'= (0 I^Raw^;.! |j 

b = (1 0)»RaW(j|j; b'=(0 l)»RaW(j 

c = (1 0)*RaWfj^i jj; c'=(0 1)*RaW(j^i jj 



40 Le champ de vecteurs s'ecrit alors 



CD 0 '\ ( fTiedta^b^c) ^ 
45 ymea^B ,0 ,c )j 

Le filtrage median est done realise, pour un sous-bloc donn6, en tenant compte du vecteur precedemment calcule 
pour ce sous-bloc et des vecteurs des sous-blocs horizontalement adjacents. 
50 On obtient done un champ de vecteurs pour des sous-blocs de 4*4 pixels. 

On definit egalement pour chaque sous-bloc I'erreur assoeiee au vecteur ehoisi. Cette erreur est une mesure de 
la confiance accordee h chaque vecteur de mouvement. L'erreur s'ecrit: 
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Err2(i,j)= ^ 

k=0,1,23 
1=0,2 




Front(i,j),- 



-P" 



-Rear(i,j),0 



Trame 3 



10 Comme cela a ete fait pour la trame 2. un calcul de vecteurs au niveau des sous-blocs est entrepris pour la trame 

3, en estimant le mouvement entre les trames 2/3 et 4. Cependant, le calcul est different de celul precedemment mis 
en oeuvre. En effet, selon le present exemple de realisation, on ne calcule pas de vecteurs de mouvement pour des 
blocs principaux entre les trames 2/3 et 4, ceci pour des raisons d'economie de lignes a retard. En effet, s'il fallait 
calculer pour la trame 3 a la fols les vecteurs des blocs principaux et ceux des sous-blocs adjacents. 11 faudrait, pour 

'5 un sous-bloc donne, avoir calcule les vecteurs des tous les blocs principaux adjacents, et cela introduirait un retard 
correspondant approximativement au nombre de lignes contenu dans una rangee de blocs principaux.. 

Les vecteurs des sous-blocs pour la trame 3 seront calcules a partir du champ de vecteurs precedemment calcule 
pour les blocs principaux entre les trames 1 et 2/3. Ceci pose des problemes en cas de mouvements rapides, elant 
donn6 que les vecteurs des sous-blocs seront alors calcul6s ^ partir de vecteurs ne refletant plus le mouvement r6el. 

20 Selon le present exemple de realisation, on rafraichit les inforrnalions concernanl les blocs principaux en creanl 

un champ de vecteurs pour des blocs dits bloc intermediaires, dont la taille est, justement, intermediaire entre celle 
d'un bloc principal et celle d'un sous-bloc. 

Selon le present exemple de realisation, les blocs intermediaires ont une taille de 32 pixels par 4 lignes: ils ont la 
largeur d'un bloc principal et la hauteur d'un sous-bloc. On calcule, a partir des trames 2/3 et 4 et du champ de vecteurs 

25 des blocs principaux determine pour les trames 1 et 2/3, le champ de vecteurs a resolution spatiale moyenne associe 
a ces blocs intermediaires. On en deduira dans un second temps le champ de vecteurs des sous-blocs. L'on voit que 
si le champ de vecteurs determine entre les trames 1 et 2/3 est pris comme source de vecteurs candidats, les calculs 
d'erreur seront neanmoins effectues a partir de information des trames 2/3 et 4. 

De meme que pour les sous-blocs de la trame 2, on considere que les calculs sont effectues pour des blocs 

30 intermediaires appartenant a la trame de sortie, a savoir la trame 3. Comme precedemment, on sera amene a decom- 
poser les vecteurs de mouvement a appliquer aux blocs intermediaires en deux vecteurs. Ainsi, pour un vecteur (u, 
v), on determinera deux vecteurs Front et Hear comme suit: 
Front:z-|(u,v) 
Rear=(u,v)-Front 

35 L'erreur associee au vecteur de mouvement (u,v) pour un block intermediaire (i,j) s'ecrira: 
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I 



P' 



Err. 



Intermediate 



1=0,2 



s -i+i 



-p' 



-Fronl(i,j},-^ 



-Rear(i,jXl 
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Pour un bloc intermediaire donn6 de la trame 3, on determine le bloc principal qui lui correspond: c'est le bloc 
principal qui, projet6 orthogonalement sur la trame 3, contient ce bloc intermediaire. 

On determine un certain nombre de vecteurs candidats pour un bloc intermediaire (i,j) donne: 

le vecteur du bloc principal correspondant, 

le vecteur d6duit du vecteur du bloc principal ci-dessus en modifiant sa composante horizontale d'un pas de quan- 
tification dans le sens posit if, 

le vecteur deduit du bloc principal ci-dessus en modifiant sa composante horizontale d'un pas de quantification 
dans le sens negatif, 

le vecteur du bloc principal le plus proche (au-dessus ou en-dessous) du bloc intermediaire, 

le vecteur deduit du bloc principal ci-dessus en modifiant sa composante horizontale d'un pas de quantification 

dans le sens positif, 
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le vecteur deduit du bloc principal ci-dessus en modifiant sa connposantg horizontale d'un pas de quantification 
dans le sens negatif. 

Salon le present exemple de realisation, les six vecteurs candidats seront done: 
s Si jmod4 < 2 alors sinon j'=1 
Rel%j^(1) = MB(i,jv4) 



10 



15 



20 



25 



Rel '\j)(2)-MB(i,jv4) + (^^j 
Rel '\j)(3) = MB(i,jv4) + [^"^^j 

Re|IB,j .)(4) = MB(i,jv4+j-) 



Rel '\j)(5) = MB(i,jv4+j') + 



Rel '\j)(6) = MB(i,jv4+r) + fQj 



30 ou le quotient de la division euclidienne de a par b est note avb et son reste amodb. 

Les second et troisienne vecteurs ont meme composante verticale que le premier vecteur, les composantes hori- 
zontales etant modifiees. De meme, les cinquieme et sixieme vecteurs ont la meme composante verticale que le 
quatrieme vecteur, les composantes horizontales etant modif iees. Ce choix est du a la taille des blocs intermediaires, 
qui n*ont que deux lignes de hauteur. Si on avait choisi des blocs intermediaires de taille verticale plus importante, il 

35 aurait ete envisageable d'effectuer une correction de la composante verticale. Mais ici, avec seulement deux lignes 
par bloc intermediaire, il est difficile de determiner de maniere fiable une composante verticale et done a fortiori de la 
corriger. 

On calcule alors I'erreur associee a chacun des six vecteurs, et ce pour ctiaque bloc intermediaire. Le vecteur 
retenu pour un bloc intermediaire panmt les six vecteurs candidats est celui donnant I'erreur minimale. 
40 Selon une variante de realisation, on supprime la correction sur les composantes horizontales.. Ceci permet d'eviter 

d'engendrer de trop fortes discontinuites dans le champ de vecteurs en cas d'images bruitees. 
On obtient finalement un champ de vecteurs a resolution spatiale moyenne note IB{i,j). 

La demiere etape de I'estimation de mouvement de la trame 3 consiste k determiner un champ de vecteurs de 
niveau sous-bloc a partir du champ de vecteurs aux blocs intermediaires. On attribuera naturellement un sous-bloc 
45 au bloc intermediaire dont il fait partie. Selon le present exemple, deux vecteurs candidats sont d6tennines pour cheque 
sous-bloc: le premier vecteur candidal est celui du bloc intermediaire dont fait partie le sous-bloc, tandis que le second 
vecteur est celui du bloc intemn^diaire adjacent tel que d6fini ci-dessous. 

Pour un sous-bloc de coordonnees (ij), les deux vecteurs candidats seront: 
Si imod8<4 alors i =-1 sinon i'=1 
so Rel(jjj (1) = IB(i v8,j v4) 

Rel(jj)(2) = IB(tv8 + i',jv4) 
On calculera done les vecteurs: 
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Pour m= 1,2 

Front (m) = int 

(U) 



Rear (m) = Rel (m)-Front (m) 

(i,j) (Ij) (U) 



10 



Puis les erreurs: 



75 



Pour m=1,2 



Err .(m)= ^ 

(•'j) k=0,2 
1=0,2 



P' 



X 

S 

V y 



H- Front (nn),1 

(Ij) 



-P' 



X 

S j + l 

IK y J 



-Rear (m),^ 



Le vecteur donnant la plus petite erreur sera retenu. 

On procede egalement a un filtrage median du champ de vecteurs (883(1, j)) obtenu, et on calculera le champ 
d'erreurs (Err3(i,j)) correspondant. 

25 Reduction de bruit 
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La reduction du bruit comprend deux etapes: 
une reduction de bruit spatiale, 

una reduction de bruit temporelte compensee en mouvement. 

La premiere etape fait appel ci rinfonmation contenue dans une seule trame, tandis que la seconde etape fait appel 
a rinformation contenue dans plusieurs, en roccurrence deux, trames successives. 
Dans ce qui suit, seul le filtrage de la luminance sera decriL 

Dans le cadre du present exemple, te filtrage spatial de la chrominance n'est pas considere comme necessaire, 
les echantillons de chrominance etant trop eloignes les uns des autres pour que le filtre, median de type directionnel 
ait un sens. II est bien evident que la chrominance pourra egalement etre fittree, notamment si information de chro- 
minance est plus dense, notamment si etie avait une resolution identtque a celle de la luminance. 

Le filtrage temporel de la chrominance se deduit directement de celui de la luminance en considerant des trames 
d'entree dont la taille est divisee par le facteur de sous-echantillonnage de la chrominance, (soit par 2 dans la direction 
des abscisses x pour un format d'entree 4:2:2). II faut egalement diviser la composante x des vecteurs de mouvement 
par ce meme facteur. 

Reduction de bruit spatiale 

La reduction spatiale de bruit est destinee k reduire le bruit imputsionnel dans les trames d'entr6e. 

Selon le present exemple de r6aIlsation, le fittre spatial est un filtre median directionnel, qui poss6de I'avantage 
de ne pas d6grader les fronts el les textures fines d'une image. Un simple filtrage )in6aire ou median n'aurait pas cet 
avantage. 

Le filtrage median directionnel est realise tci sur trois pixels: le pixel "courant", ainsi que deux pixels adjacents 
situ6s sur une meme droite passant par le pixel courant. Compte tenu de ces restrictions, quatre directions de filtrage 
sont possibles: horizontals, verticals st dsux diagonales. 

Le choix de la direction a considerer est fait en fonction de la correlation existant entre les trois pixels d'une meme 
direction. 

Le tableau suivant represents le pixel courant (X22) entourd de ses pixels adjacents: 



x11 



x12 



XI 3 
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(suite) 



5 



x21 


x22 


x23 


x31 


x32 


x33 



La direction horizontale (appelee d1) passe par les pixels X21, X22 et X23. 
La direction verticale (appelee d2) passe par les pixels XI 2, X22 et X32. 
La premiere direction diagonale (dS) passe par les pixels X31 , X22 et XI 3. 
La seconde direction diagonale (d4) passe par les pixels XII , X22 et X23. 

Les coefficients de correlation associesa chacune des directions sont respectivement notees c1 a c4 et les valeurs 
filtrees ml a m4. 

Selon d1: 

c1 = min(lx21 - x22l, 1x23 - x22l) 
m1=med(x21,x22,x23) 
Selon d2: - 

c2 = min(lx12-x22Ux32-x22l) 
m2 = med(x12.x22,x32) 
Selon d3: 

c3= min(lx13-x22Ux31-x22l) 
m3 = med(x13,x22,x31) 
Selon d4: 

c4 = min(lx11-x22Ux33-x221) 
m4 = med{x11,x22,x33) 

La direction pour laquelle le coefficient de correlation est le plus faible sera retenue. 

D'autres fonctions de correlation peuvent egalement etre choisies. De meme, le filtrage peut etre realise sur plus 
de trois pixels ou dans plus de trois directions, si la fenetre utilisee le permet, 

30 

Reduction de bruit temporelle compensee en mouvement 

Un interet non negligeable de restimation de mouvement est qu'elle permet I'application de procedes de reduction 
de bruit compenses en mouvement. 
35 On part de Thypothese que le bruit perturbant une image de television est sensiblement d'esperance mathematique 

nulle. c'est ^ dire que sa rrioyenne temporelle sur plusieurs images terlQ^Ve'rs z§f6. OriJ peut done reduire les compo- 
santes a haute frequence de ce bruit en realisant un filtrage passe-bas tempore! de I'image. 

Un proc6d6 de filtrage connu consiste ^ r6aliser un filtrage num6rique recurrent pixel h pixel. Ce proc6d6 comprend 
la memorisation, pour chaque pixel, d'un certain nombre d'6chantlllons, et rapplication d'une relation de recurrence 
entre ces valeurs memorisees et un pixel courant. On peut ainsi determiner une valeur filtree pour ce pixel courant, 
ainsi que mettre a jour les valeurs memorisees. Le choix de la relation de recurrence et le nombre de termes merT>oris6s 
determinent Tetficacite du flltre. 

Cependant, I'application d'un filtre passe-bas tempore! ^ une sequence d'images de television possede un d^faut 
majeur: elle engendre par la nature meme de ce filtrage une trainee suivant tous les objets mobiles, ce phenomene 
45 etant similaire a ce qu'on Ton pourrait voir sur un tube cathodlque h forte remanence. Cet effet est tres visible sur 
certains televiseurs commercialises. 

Selon le present exemple de realisation, cet effet est attenue en utilisant les vecteurs de mouvement deja calcules 
lors de la mise en oeuvre de la relation de recurrence. La recurrence sera realisee non pas sur des pixels de coordon- 
nees fixes, ma Is sur des pixels translates par les vecteurs de mouvement. En d'autres termes, on suit le deplacement 
des objets pour faire correspondre des pixels images d'un meme point de I'objet mobile. 

Dans le cadre du present exemple, la reduction de bruit temporelle est realisee grace h. une unique memoire de 
trame sur les trames d'entree (filtrees spatialement). On mettra en oeuvre le champ de vecteurs ^ precision maximale, 
a savoir le champ de vecteurs des sous-blocs. On commencera done par calculer les vecteurs k partir de la trame 
memorlsee et de la trame d'entree non reduite en bruit. Le champ de vecteurs ainsi obtenu sera utilise pour reduire 
55 en bruit ia trame d'entree. L'interpotation sera realisee entre la trame d'entree ainsi traitee et entre la trame memorisee: 
les deux trames servant a I'lnterpolatbn auront done subi une reduction du bruit. 

Dans le cadre du present exemple, une seule memoire de trame est utilisee: on ne retient pour chaque pixel qu'un 
seul echantillon dans le passe. La recurrence portera done sur deux termes: le pixel "courant" et un echantlllon me- 



20 



18 



EP 0 781 041 A1 



morise. 



La reduction de bruit s'articule en deux parties: 



Mise en correspondance des pixels sur lesquels va porter la relation de recurrence. 
5 - Application de la relation de recurrence. 

La mise en correspondance des pixels est realis6e sous-bloc par sous-bloc de la trame d'entree. On met en 
correspondance les pixels d'un sous-bloc de la trame d'entree et les pixels du sous-bloc designe par le vecteur de 
mouvement correspondant dans la trame memorisee. On realise done une projection de la trame memorisee suivant 
10 le champ de vecteurs de mouvement. 

Si Ton designe la luminance de la trame d'entree par 



75 




celle de la trame reduite en bruit contenue dans la memoire par 



20 




25 et celle de ta trame projetee par 



30 




cette derniere s'ecrit, pour la trame 2/3: 



35 



Vx€{0,1,...,720} 
VyG{l,3,5,...,575} 
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avec 

i = xmod4 
j = ymod4 
El pour la trame 4: 



50 



Vx6{0,1,...,720} 
Vv6{0.Z4,...,574) 
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avec 
i= xmod4 
j = ymod4 

II s'agit maintenant de definir et d'appliquer une relation de recurrence. Elle portera connme indique plus haut sur 



et P 



Lvyy J 



10 



et donnera 



75 




A supposer que Taspect d'un objet change peu d'une trame ^ I'autre, et en tout cas lentement par rapport a la 
20 constante de temps du filtre, les differences de luminosite ne sont dues qu'au bruit. Dans le cadre du present exemple, 
la relation de recurrence utilisee est done: 



25 




oil f est une fonction non-lineaire adaptee au bruit, issue de la fonction non lineaire NL representee sur la figure 
30 10 (a), avec le schenaa du filtre recurrent utilise (Figure 1 0 (b)). Cette fonction possede une partie lineaire au debut de 
sa courbe: pour de faibles differences entre I'innage regue et sa projection, la correction est maximale et le pixel de 
sortie est interpole Itneairement, avec un facteur % pour la projection et Va pour le pixel regu. Si la difference croit, la 
probabilite d'effacer une transition reelle dans Tinnage croit aussi, et on choisit de privilegier le pixel regu, jusqu'a ne 
plus tenir compte du tout de I'estimatbn si I'ecart est trop important. 
3S Selon le present exemple de realisation, on adapte cette' fonction k la variance du bruit estime au moment du 

calcul des vecteurs de mouvement: on arrive ainsi a faire la difference entre le bruit a reduire et I'information ^ sauve- 
garden 

NL s'ecrit alors: 



40 



NL:R^->R 
xi->NL(x) 



V0< x< 1:NL(x) = min[^-|\^x (x- 1)' 
Vx>1;NL(x) = 0, 



50 alors f est ia fonction impaire de R dans R d^finie sur R+ par: 



55 




ou s est I'ecart- type du bruit mesur6 par I'algorithme et 
Xtji te maximum local de la fonction NL. 
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On posera: 
s = Noiseest 

Selon une variante de realisation du present exemple, la reduction de bruit temporelle n'est pas effectuee lorsque 
la confiance dans un vecteur de mouvement est trop taible par rapport au bruit de I'innage. 
5 Salon une autre variante de realisation, on realise un filtrage spatial de la trame memorisee avant la projection 

suivant le champ de vecteurs de mouvement. En effet, etant donne le sous-echantillonnage effectue avant Testimation 
de mouvement. la precision des vecteurs de mouvement, et par consequent de la projection est de deux pixels. Les 
details plus fins sont elimines par I'intermediaire d'un filtre passe-bas lineaire. Des mesures ont montre qu'un filtrage 
passe-bas abaisse le niveau de bruit d'environ 2 dB supplementaires. 

10 

Interpolation 

Apres avoir obtenu pour chaque trame a interpoler un champ de vecteurs le plus exact possible, il s'agit desormais 
de deduire de cette information et des trames d'entree les Irames que Ton va afficher. Selon la trame prise en consi- 
75 deration, on ne visera pas les memes objectifs. 

On se tiendra notamment aux lignes de conduite suivantes: 

on tentera de garder une homogeneite dans les differentes procedures d' interpolation adaptees a chaque trame: 
une difference trop brutale/entre deux types d'interpolation conduit ^ des differences d'aspect d'une trame sur 
20 I'autre qui, repelees 75 fois par seconds, engeridrenl un scinlillernent plus genanl que celui que Ton cherche a 

reduire; 

on prendra les mesures necessaires pour qu'une erreur sur un vecteur de mouvement, meme importante en valeur 
mais suffisamment localisee, ou une difference entre le champ de vecteurs reel et celui mesure due par exemple 
a la quantification, ne cree pas de perturbation trop visible. De plus, la presence de bruit dans I'image ne doit pas 
2S mettre en echec le precede d'interpolation. 

Interpolation de la trame 1 (luminance) 

La trame 1 est un cas particulier, en ce sens que ses lignes paires sont reprises telles quelles. II faut cependant 
20 reconstituer les lignes impaires. 

On notera Pi(x,y) avec (0<x<719;0<y<575) la luminance d'un pixel de la trame 1. 

Selon le present exemple de realisation plusieurs types d'interpolation sont mis en oeuvre pour reconstituer les 
lignes manquantes: 

35 - interpolation lineaire verticale par moyennage (filtrage spatial pur) 

entrelacement des trames 1 et 3 dans les zones immobiles (filtrage temporel pur), 
interpolation mettant en oeuvre les vecteurs de mouvement (filtrage spatio-temporel) 

Le choix du type d'interpolation est fait bloc principal par bloc principal en fonction de criteres lies au vecteur et ^ 
40 I'erreur associee au bloc. 

Le vecteur associe ^ un bloc principal de la trame 1 est celui associ6 au bloc principal de meme position dans la 
trame 2/3. Bien que I'estimation de mouvement ne soit pas effectuee pour les blocs de la trame 1 , mais pour les blocs 
de la trame 2/3, on prend neanmoins en consideration ces vecteurs. En effet, si Ton s'eloigne des bords des objets en 
mouvement et si le mouvement est regulier, les vecteurs obtenus par estimation directe sur les blocs de la trame 1 
-^5 seraient similaires aux vecteurs calcules pour la trame 2/3. 

L' interpolation lineaire verticale (filtrage spatial pur) est une solution de repli utilisee lorsque la confiance dans le 
vecteur de mouvement detects est trop faible. Pour le present mode de r6atisatbn, on utilise I'interpolation: 



so 









+p 







55 Le moyennage vertical a I'tnconvenient de faire apparaitre des "escaliers" tres visibles sur les lignes diagonales. 

De plus, il donne une definition mediocre, egale tout au plus k celle d'un teieviseur conventionnel. Enfin, il cr6e n6- 
cessairement un scintillement de ligne puisqu'on ne peut interpoler les trames 2 et 3 de cette maniere. On cherchera 
done k eviter si possible le moyennage vertical. 
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Ce filtrage spatial pur est mis en oeuvre a I'interieur du filtre spatio-temporel decrit plus loin. 
Si le vecteur de mouvement associe a un bloc principal est nui, on realise un filtrage dit filtrage temporel pur, en 
ce sens que les lignes manquantes de la trame 1 sont choisles dans une autre trame. On realise ainsi un entrelacement 
des lignes de deux trames. Le critere chioisi pour determiner le caractere statique d'un bloc principal est la comparaison 
5 de I'erreur de I'estimation de mouvement par rapport a un seuil. Si I'erreur est inferieure a ce seuil, alors le bloc est 
juge statique. En effet, si seulement une partie du bloc est statique, I'autre partie engendrera neanmoins une erreur 
Importante. 

Le critere s'ecrit: 
MBError(i,j)<SeuilXNoisest 
^0 et le pixel interpole s'ecrira: 

pour y pair: 
Pi(x.y)=P(x.y.O) 
pour y impair: 
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P,(x,y) = p[^x.y,^j 



20 Ce type d'inlerpolation permet, par rapport a I'interpolation de type verticale par moyenne, de permettre une de- 

finition verticale double et de supprimer le scintillement de ligne. 

Si le vecteur de mouvement est non nul ou si le vecteur de mouvement est nul, mais que le critere portant sur 
I'erreur associee precedemment defini n'est pas rempli, alors un filtrage spatio-temporel est utilise pour I'interpolation. 
Dans le cadre du present exemple, il s'agit d'un filtrage de type median. 
25 Un filtre de type median permet de conserver une bonne definition et de respecter les fronts de I'image, contrai- 

rement aux filtres purement lineaires. 

La figure 11 illustre ce type d'inlerpolation. Sur cette figure, un "X" designe le pixel a interpoler, un rond designe 
un pixel de la trame 1 et un triangle un pixel de la trame 2/3. 

La valeur d'un pixel interpole est determinee en deux temps: 



dans un premier temps, on determine trois valeurs correspondant a trois filtres F1, F2 et F3, 



F1 realise une moyenne des valeurs du pixel (b1) situe au dessus du pixel a interpoler et du pixel (b2) situe 
en dessous du pixel a interpoler, 
55 F2 donne la valeur mediane entre b1 , b2 et la valeur du pixel (b) de la trame 2/3 correspondant h la translation 

par le vecteur de mouvement approprie du pixel k interpoler de la trame 1 , 

F3 donne la valeur mediane parmi la valeur du pixel b et des valeurs des quatre pixels diagonalement adjacents 
(a1 , c1 , a2, c2) au pixel a interpoler, 

"^0 - dans un second temps, on determine la valeur mediane parmi les trois valeurs donnees par ces filtres. 

Soit MB(l,j) le vecteur du bloc principal dont fait partie le pixel que Ton cherche k interpoler 

Soient: 
v, =:(1 0).MB(i,j) 
^ Vy=(0 1).MB(i,j) 
Pour y pair: 



P,(x.y) = P 



X . 

y 



Pour y impair: 
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Fl(x.y) = 4 



/ r 
P 



10 



15 



20 



F2(x,y) - meda 



F3(x,y) = med5|^P 



X 



;P 



LV 



x + v, 
y + V 



iiniv-lTiiv-lTiiv^i) 



;P 



V + v, J' 2 



Finalement: 

Pi (x,y) =med3(F1(x.y);F2(x.y);F3(x,y)) 

On construit ainsi un filtre portant sur sept valeurs de pixels, dont un seul n'appartient pas ^ la trame courante. 
Lea effets dus ^ una mauvaise estimation de mouvement sont ainsi att6nu6s. 

D'autre part, la definition sera bien conservee et les contours des objels bien suivis de par le filtrage median 
directionnei qui agit a la fois dans les directions verticale et diagonales. 



Interpolation de la trame 2 (luminance) 



25 L'interpolation de ta trame 2 s'effectue a partir du champ de vecteurs au niveau des sous-blocs. Tous les pixels 

de la trame doivent etre interpoles, puisqu'elle ne se contend pas temporellement avec une trame d'entree, comme 
cela est le cas pour la trame 1 . 

Par souci d'homogeneite, les mecantsmes d'interpolation utilises pour la trame 2 possedent des caracteristiques 
semblables a ceux deja employes pour la trame 1. 

oO On procede done sous-bloc par sous-bloc. 

De la meme maniere que pour la trame 1 . si I'erreur liee au vecteur de mouvement d'un sous-bloc est importante, 
interpolation est realisee avec le filtre spatio-temporel deja utilise pour la trame 1 . Cependant, la trame 2 etant situee 
temporellement entre la trame 1 et la trame 2/3. le vecteur de mouvement entre les trames 1 et 2/3 est separ6 en deux 
vecteurs, I'un (Front vector) indiquant le mouvement entre la trame 1 et ta trame 2, I'autre indiquant le mouvement 

55 entre la trame 2 et la trame 2/3. Chacun de ces deux vecteurs est arrondi a une valeur entiere. On rappelle qu'une 
decomposition identique en deux vecteurs d'un vecteur de nnouvement a ete utilisee lore du calcul des vecteurs de 
mouvement associes aux sous-blocs de la trame 2. Les arrondis seront effectues de la meme maniere dans les deux, 
cas, pour eviter d'ajouter des erreurs. 

Si (i,j) represente les coordonnees du sous-bloc contenant le pixel a interpoier, on calculera les vecteurs: 

40 



Rear(i,j) = ini[i-SB2{i,j)] 
Fron<i,j) = SB2(U)-Rear(u) 



On determine ensuite trois valeurs pr6liminaires (a, b. c). Le calcul diff6re selon que le pixel h interpoier est situ6 
dans une ligne paire ou impaire. 
Pour y pair, sclent 



so 



55 



a =P 
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b = P 



j^^j-Rear(i,j),oj 



c = P 



I:} 



y;;^]-Fron<i.i^j 



10 



alors: 



IS 



,/ (2'a+b) 



P,(x.y) = med3| i±-^;med3(a.b,c):ii^] 



Pour y impair, on pose de meme: 



20 



a =P 



-Rear(y),0 



2S 



b =P 



^ | + Fronl(i,j),^ 



30 



Rear(i,j),0 



35 



40 



alors: 



P,(x,y) = medaj^^^ — ~ — -\me6AB,h,c))- — - — 
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Ce ftltrage est illustre par la figure 13. 

P2(x,y) est la vateur du pixel interpole et correspond h la valeur m6diane parmi trois valeurs: les resuttats de deux 
filtres lineaires et d'un filtre median k partir des valeurs des pixels a b et c. 

Les deux filtres lineaires reaiisent une interpolation tempo re He avec des coefficients de ponderation correspondant 
aux positions relatives du pixel a interpoler par rapport aux pixels a, b, c. II faut noter que ce sont deux filtres temporels 
purs, c*est k dire n'utilisant qu'un seul pixel dans chacune des trames d'entr^e. Ceci permet d'dviter une perte de 
resolution verticale. 

Le fittre median permet 6galement de conserver a la frame g6ner6e une bonne resolution spatiale. Mais il permet 
aussi de garder une certaine homogeneite entre les differents mdcanismes d* interpolation des trois trames. 

Si le vecteur de mouvement Ii6 k un sous-bloc est nul et si la confiance accordee a un vecteur est bonne (erreur 
faible), interpolation sera, comme dans le cas de la frame 1 , de type interpolation temporelle pure: on entretace les 
lignes des trames 1 et 2/3: 
Pour y pair: 

Pour y impair: 
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On calcule d'autre part, selon une variante de realisation, une seconde valeur possible pour ce pixel, appel^e 
valeur de repli. Cette valeur, not^e Fallback2(x,y), correspond ^ un fillrage lineaire coupant tres severement les haules 
frequences spatiales sur les deux trames concernees: 



Fallback2(x.y) = ^{l 2 3 4 3 2 1) 



fP{x-3,y,0)^ 
P{x-Zy.O) 
P|x-1,y,0) 

P(x.y.O) 
P|x + 1,y,0) 
P(x+2,y,0) 
P(x+3,y,0> 



2 

+ — 

3 



fP(x-3,y,I)^ 
P|x-2,y4) 
P|x-l,y.I) 

P(x,y.l) 
P(x+1,y,I) 
Plx+Zy^) 
P(x+3,y,^)j 



Les valeurs de pixel non definies dans les trames seront interpolees en utilisant simplement un filtre spatial vertical 
sur les pixels superieurs et inferieurs. 

On definit egalennent la confiance portee a un vecteur de mouvenrient comnne: 



Conf (x,y) = 



Error2(x,y) 
NBPixel 



ou NBPixel represente le nombre de pixels contenus dans un sous-bloc sous-echanttllonne. Conf(x,y) represente 
I'erreur ramenee a un pixel. 

La valeur P2(x,y) du pixel interpole sera alors: 



P,(x,y) = med3fp-Uy)-^^^^^.Fallback(x,y),P-,(x,y)+^^^ 
\^ Scale - Scale J 



La valeur p2(x,y) est 6gale k la valeur du pixel compens6 en mouvennent mais encadree de maniere k ne pas 
pouvoir s'ecarter de la valeur du pixel de repli d'une valeur superieure ^ la confiance divisee par un facteur correctrf . 

Interpolation de la trame 3 (luminance) 

Les m6canismes sont lr6s semblables ^ ceux employes pour la trame 2. La trame 3 est interpol6e k partir des 
trames 2/3 et 4 (c'est a dire la trame 1 du cycle suivant) et des vecteurs des sous-blocs SB^ihj)- Seuls les coefficients 
d' interpolation et les aspects de parity des lignes vont changer 

On calculera done les vecteurs: 



Rear(/ j) = SB^{ij) - Front^ij) 
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et !es points seront calcules: 
Pour y impair, soient 



10 



■'[(;)- 



IS 



C = P 



Fro?it(jj),l 



alors: 



20 



25 



30 



35 



40 



P {x,y) = med3 -,med2{a,b,c)\ 



Pour y pair, on pose de mGrriG: 



a = P 



[( 



^ Y-R&atiij),]- 
y-\) 2 



c = P 



45 



alors 



P2{x,v) = med3 -:med2{a,b.c):- — ^ I 

I 3 3 ; 



SO 



La figure 14 illustre ce filtrage. 

Si la confiance est tres bonne et le vecteur nul, on optera encore pour una interpolation temporelle pure: 



55 



y pair, 
y impa ir. 
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10 



IS 



20 



25 



Fanbacki{x,y) = —{l 2 3 4 3 2 1) 
16 



/' 1 ^ 

Pix-2,y,^) 
Pix-i,y,j) 

Pix+i,y,^) 
P{x + 2,y,^) 
^/>(x + 3,^i) 



1 

+ — 
3 



(P(x-3,y,l)^ 
Pix-2,y,l) 
P{x-\,y,l) 

P{x,y,i) 

P{x + l,y,l) 
Pix + 2,y,l) 
{Pix + i,y,l)) 



et la confiance que Ton porte aii vecteur de mouvement, 



30 



Conf(ij) 



Error^iij) 
NBpixel 



Enfin, on etablira la valeur du pixel affiche en interdisant a ce pixel de trop s'ecarter de la valeur du pixel de repll 
55 si la confiance est mauvaise: 



40 



p.-('j)=-<'(^'.(-.y)-^^ 



,Fallback,{ijlP\{ij) 



Cortfjij) )^ 
Scale J 



On voit qu'ici, la continuite de I' interpolation est bien assuree avec la trame precedente puisque I'aigorithme est 
caique sur r interpolation de la trame 2. Cependant. les vecteurs de sous-blocs ont un biais tennporel -du au fait qu'ils 
45 ont ete calcules a partir des blocs principaux detennines pour la trame de sortie precedente- qui rend la definition de 
cette trame plus mauvaise que celle de la trame precedente, notamment dans le cas de mouvements rapidement 
6volutifs. 

Traitement de la chrominance 



55 



L'interpolation de la chrominance est sujette a des contraintes beaucoup moins severes que celie de la luminance; 
en effet, la definition de I'oei) est beaucoup plus faible. D'ailleurs, la norma utiltsee pour la transmission sur te r^seau 
hertzien, dite format 4:1:1, inclut un sous-echantillonnage aboutissant a transmettre une information de chrominance 
pour quatre informations de luminance, avec una repetition de I'information de chrominance identique k elle-meme 
sur deux lignes. Les tolerances sur les filtres utilises sont done beaucoup plus grandes. De ce fait, nous nous conten- 
terons de filtres simplifies. 

Les algorithmes ^interpolation de la chrominance sont done directement extrapoles de eeux d' interpolation de la 
luminance, en considerant des frames contenant deux fois moins de pixels horizontalement. et en divisant done par 
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deux la composante horizontale des vecteurs de mouvement. 

Pour la trame 1 , le filtre a 7 pixels d'entrees utilise en luminance est limite a 3 pixels d'entree: 
Soient: 

v,^^{^ oyMB(ij) 

Pour ypair: 



10 



,0 



15 



20 



Pour yinnpair: 



r X ^ 1 [f X ^ l^ 



F2{x,y) = med3 



f 






p 


[(;-.)•»] 


.p 



30 



F3{x,y) = P 



X + Vy 



/2j 



Finalement: 

P/xyJ = med^(FA (x,y);F2(x,y);F3(x,y)) 

Pour tes trames 2 et 3, les filtres medians temporals de la luminance sont conserves, mais on supprime le filtre 
de repli Dans le filtre de reduction de bruit temporelle, le filtre horizontal est supprime, car il fittrerait trop bas les 
35 frequences spatiates. 

Mode film 



40 



45 



50 



55 



Le cas du mode film est celui des sequences video qui sont generees, nbn pas au format 625/50/2, mais en 
625/25/1 . Ces sequences sont done dans un format progressif a I'entree, ce qui veut dire que chaque image d'entree 
contient 2 trames correspondant au meme instant. 

De 1^ vient tout le probleme: en effet si on applique a de telles sequences I'algorithme decrtt cindessus, sans aucune 
modification, Testlmation de mouvement sera completement inhibee, puisque le calcul des blocs principaux se fera 
entre les deux trames de la meme image, et que toutes les estimations successives qui decoulent de ceux-ci ne 
genereront que des vecteurs nuls. Si done aucun mouvement n*est detecte, aucune interpolation temporelle ou com- 
pensation en mouvement ne pourra etre faite. Ceci est tres genant, car a I'affichage de telles sequences, on ne pourra 
que r6p6ter 3 fois ^ l'6cran chaque image d'entree. D'ou un effet de saccade particulierement d6sagr6able dans toute 
sequence comportant du mouvement. 

Une solution simple et peu couteuse permettant de reduire considerablement cet effet de saccade est la suivante: 
on va modifier la phase du traitement des informations de fafon h ce que le mouvement entre 2 images differentes 
soit detects et estime, et que done une interpolation temporelle sort possible. 

Par consequent, I'estimation de mouvement principale (la phase des blocs principaux) devra se faire entre une 
trame 1 paire et une trame 2/3 impaire et non plus entre une trame 1 impaire et une frame 2/3 paire. Les chronogrammes 
donnes figure 15 illustrent ce mode de fonctionnement particulier. 

Tout le traitement sera ainsi decale d'une trame SOhz. Ce qui veut dire qu'en sortie les lignes a interpoler auront 
la parite opposee a celle qu'elles ont lore du traitement normal. IVIais les filtres et I'estimateur de mouvement fonction- 
neront de iagon strictement identtque. Ainsi on generera successivement: 
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• une trame 1 progressive en uttlisant le champ de vecteurs de blocs principaux, en conservant les lignes d'entree 
et en interpolant les autres avec le filtre median spatio-lemporel ^ 7 points decrit precedemment, 

• une trame 2 progressive en utilisant le champ de vecteurs de sous-blocs estime avec les trames 1 et 2/3 d'entree. 
On utilisera ici aussi le filtre median temporel a 3 points decrit precedemment. Par contre au lieu d'appliquer les 
coefficients de ponderatlon 2/3 et 1/3 ordinaires, on utilisera les coefficients 1/2 et 1 /2; ce qui veut dire que la trame 
2 que Ton genere ainsi est situee a egale distance entre les trames d'entrees 1 et 2/3. Cette simple modification 
des coefficients constitue a elle seule une importante reduction de saccade, bien appreciable et sensible sur toutes 
les images qui ont ete traitees. Voir figure 16 le schema explicatif de cette reduction de saccade. 

• et enfin une trame 3 progressive utilisant normalement le champ de vecteur des sous-blocs corrige par les blocs 
intermediaires. En fait, ici, puisque les trames 2/3 et 4 sent issues de la meme image, it n'y a pas de mouvement 
entre ces deux trames. II suffit done de forcer les vecteur a zero ainsi que la confiance: de cette fagon le filtre decrit 
precedemment entrelacera purement et simplement les 2 trames d'entree pour regenerer une image progressive 
parfaite. 

En conclusion, le mode film pourra etre traite sans modification des filtres et mecanismes d'estimation de mouve- 
ment: il suffira de conlroler, lorsqu'on aura detecte la presence du mode film, la phase du traitement, les coefficients 
d' interpolation du filtre des trames 2 ainsi que les vecteurs et confiances des trames 3. La reduction de saccade ainsi 
obtenue sera done peu couteuse a implementer. 

Revendications 

1. Precede de conversion de trames entrelacees en des trames progressives comprenant un changement de fre- 
quences de trames par interpolation et compensation de mouvement caracterise en ce que 

lorsque le vecteur de mouvement associe a un pixel a interpoler est non nul ou lorsque ce vecteur est nul, 
mais que la confiance accordee a ce vecteur est inferieure a un seuil donne, 

I'interpolation d'un pixel (x,y) d'une trame temporellement situee entre deux trames d'entree est realisee par 
un filtrage median portant sur tes valeurs obtenues par un premier filtre temporel lineaire compense en mou- 
vement, un second filtre lineaire compense en mouvement et un filtre temporel median compense en mouve- 
ment. 

2. Procede selon la revendication 1, caracterise en ce que la confiance accordee a un vecteur est une fonction 
lineaire de i'erreur engendree par ce vecteur. 

3. Procede selon I'une des revendications 1 ou 2, caracterise en ce que lesdits filtres lineaires sont fonction de deux 
pixels (a,b respectivement b,c) situes respectivement dans les trames d'entree entourant temporellement la trame 
k interpoler, les coefficients lineaires d'interpolation de chaque pixel correspondant au rapport des intervalles de 
temps separant la trame a interpoler et respectivement la trame d'entree precedente et la trame d'entree suivante. 

4. Procede selon I'une des revendications 1^3, caracterise en ce que lorsque la trame d'entree precedente est 
impaire, ledit filtre temporel median porte sur les trois pixels suivants: 

pour les lignes paires de la trame ^ interpoler 




b = P 
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C = P 



)+Front(i,j),^ 
y + li 2 



alors: 



P2(x,y)=med(ma+(1-m)b;med(a,b,c);mc +(1 -m)b) 



pour les lignes impaires de la trame a interpoler, 



a =P 



|^^^^j-Rear(i,j),0 



b =P 



|^^j + Froni{i,j),| 



c = P 



[y;^^j-Rear(i,i),0 



alors: 



^2 (^'V) ~ fT^6Cl((1-m)a +mb;med(a,b,c);(1-nn)c +mb) 



ou Front(i,j) et Rear(i,j) sont les fractbns du vecteur de mouvement associe au pixel a Interpoler, ce vecteur 
etant mis k i'echelle et arrondi, ou "0" et "1/2" representent respectivement la trame d'entree precedant respecti- 
vement suivant la trame a interpoler, et ou m represente un coefficient d'interpolation dependant de la position de 
la trame ^ interpoler entre les frames d'entree. 

Procede selon Tune des revendications 1 a 4, caracterise en ce que lorsque la trame d'entree precedente est 
tmpaire, ledit filtre temporel median porte sur les trois pixels suivants: 



Pour les lignes impaires de la trame ^ interpoler, 



Fronl(i,j),1 



b = p[[^j-Rear(i,j)l 



='[(,:.: 



+ Front(i,j),1 



ators: 
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P3{x,y)-med((1 -n)a+b;med(a,b,c);(1 -n)c +b) 
Pour les lignes paires de la trame a interpoler 

5 



10 



15 




20 

alors: 

P3(x,y) = med(na +(1-n)b;med(a,b,c);nc +(1-n)b) 

25 

ou Front{i,j) et RGar(i,j) sont les fraclbns du vecteur de mouvement associe au pixel a interpoler, ce vecteur 
etant mis a I'echelle et arrondi, ou "1/2" et "1 " representent respectivement la trame d'entree precedant respecti- 
vement suivant la trame a interpoler et ou n represente un coefficient d'interpolation dependant de la position de 
la trame a interpoler entre les frames d'entree. 

30 

6. Precede sebn la revendication 3 et Tune des revendications 4 ou 5, caracterise en ce que les deux pixels utilises 
pour chaque filtre lineaire sont cfioisis dans le groupe de trois pixels utilise par le filtre tempore! median. 

7. Procede selon I'une des revendications precedentes, caracterise en ce que 

35 

les frames entrelacees d'entree sont issues d'images progressives d'entree de frequence 25 Hz et que la 
frequence des trames de sortie est de 75 Hz, une premiere trame de sortie (F1) etant temporellement con- 
fondue avec la seconde trame issue d'une premiere image d'entree, une seconde trame de sortie {F2) etant 
temporellement situee entre ladite premiere trame d'entree et la premiere trame (F2/3) issue d'une seconde 
40 image d'entree, une troisieme trame de sortie (F3) etant temporellement situee entre les deux trames d'entree 

(F2/3, F4) issues de ladite seconde image d'entree, 

les coefficients d'interpolation utilises par lesdits filtres temporels sont de 1/2 pour ladite seconde trame de 
sortie. 

45 8. Proc6de selon la revendication 7, caracterise en ce que 

les pixels de ladite trolsifeme trame de sortie sont les pixels de la seconde image d'entr6e. 

9. Proc6de selon I'une des revendications 1 ^ 8, caracterise en ce que 

so lorsque le vecteur de mouvement associe ^ un pixel h interpoler est nul et que la confiance dans ce vecteur 

depasse un seuil donne, alors la valeur du pixel a interpoler est la valeur finale obtenue par filtrage median entre 
premi^rement les deux valeurs de pixels obtenues en retirant, respectivement ajoutant la confiance du vecteur 
de mouvement ramenee au pixel divisee par un facteur correctif (Scale) k la valeur du pixel de meme position 
que le pixel k interpoler dans, selon le cas, la trame d'entree pr6cedente ou la trame d'entree suivante, et 

55 deuxiemement une valeur de repli qui resulte d'un filtrage lineaire temporel et horizontal sur les pixels des 

lignes des trames d'entree precedente et suivante de position identique ^ la ligne contenant le pixel k interpoler. 
un filtrage spatial vertical etant effectue le cas echeant sur les lignes non d^finies des trames d'entree. 
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10. Precede selon la revendication 9, caracterise en ce que la valeur de repli est egale k: 



10 



15 



Fallback(x,y) = y^(l 2 3 4 3 2 



m 



^P(x-3,y,0)^ 
P(x-2,y,0) 
P(x-1,y,0) 

P(x,y,0) 
P(x+1,y,0) 
P(x+2,y,0) 
P(x+3,y,0) 



+ (1-m) 



^PCx-S^y,!)"^ 
P(x-2,y,^) 
P(x-ry,^) 

P(x,y,^) 
P(x+1,y,l) 
P(x+Zy,^) 

^P(x + 3,y,l)^ 
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ou "0" designe la trame d'entree precedant la trame a Interpoler et "1/2" la trame d'entree suivant la trame 
a interpoler. et ou m represente un coefficient de ponderation dependant de la position temporelle de la trame a 
interpoler entre les trannes tf entrde. 

11. Procede selon I'une des revendications 9 ou 10, caracterise en ce que 

I'interpolation d'un pixel (P(x,y)) d'une ligne de parite donnee d'une trame (1 ) dent les lignes de parite opposee 
sont egales aux lignes d'une trame d'entree (1) est realisee, lorsque le vecteur de mouvement associe n'est 
pas nul ou que la confiance accordee a ce vecteur est faible, moyennant un fiitrage median (P1(x,y)) portant 
sur les valeurs obtenues 

premierement par un fiitrage lineaire vertical (F1 ), 

deuxiemement par un fiitrage median spatio-temporel vertical sur deux pixels et compense en mouvement 
sur un pixel (F2) et 

troisiemement par un fiitrage median spatio-temporel portant sur quatre pixels en croix et compense en mou- 
vement sur un pixel (F3). 



12. Procede selon la revendication 11, caracterise en ce que ledit fiitrage lineaire vertical (F1) est le suivant: 



40 OU "0" represente la position temporelle de la trame h interpoler 

13. Procede selon Tune des revendications 11 ou 12, caracterise en ce que ledit fiitrage spatio-temporel vertical sur 
deux pixels et compense en mouvement sur un nixel (F2) est: 

45 

F2(x,y) = nned 

so 

ou Vx et Vy sont les coordonnees d'un vecteur de mouvement associe au pixel k interpoler, et ou "O" repre- 
sente la trame ^ interpoler et "1/2" la trame d'entree suivante. 

14. Procede selon I'une des revendications 11 ^13, caracterise en ce que ledit fiitrage spatio-temporel portant sur 
55 quatre pixels en croix et sur un pixel compense en mouvement (F3) est: 



Fl(x.v) = I 



■[(.:.Hi:>] 



;P 



y+ V 



A 
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F3(x,y) = nned 





Y 


p 






A 



;P 



X+ V 



y + V 



15. Precede selon I'une des revendications 11^14, caracterise en ce que lorsque le vecleur de mouvement associe 
a un pixel a interpoler est nui et que la confiance dans ce vecteur est superieure k un seuil donne, alors ledit pixel 
10 prend la valeur du pixel de meme position dans la trame d'entree suivante. 
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